Metis: Memory Foundation Model
Metis：记忆基础模型，让大模型内生记忆能力
🧭 记忆基础模型·原生记忆状态与过程 ★ 深度解读
MemTensor (Shanghai) Technology Co., Ltd. · Renmin University of China · National University of Singapore · Shanghai Jiao Tong University · Tongji University
首个记忆基础模型原型，将记忆内化为原生参数化状态和计算过程，用中间训练获得自主记忆能力
📌 工作参考价值（4 点）
- 可用轻量级固定尺寸记忆矩阵（M_t, S_t）隐式存储多轮对话历史，替代显式文本拼接或外部检索，上线仅需前向传播，无需梯度更新，适合在线推荐 Agent 部署
- 记忆更新（Gated Delta Network 风格）与当前推理完全解耦，可与原始注意力并行计算，推理延迟主要取三者最大而非相加，对实时性要求高的电商对话系统有参考价值
- 中间训练数据构造方法可复用：将公开事实型数据集改造成含记忆操作（记住/更新/遗忘/反射）的多步交互序列，显式标注记忆一致性，用于训练推荐对话 Agent 的上下文理解与状态管理
- “原生记忆过程”思想可扩展到推荐模型：将用户行为序列压缩为模型内部动态参数，用特殊设计的记忆重建与操作损失联合优化，实现端到端的个性化状态保持